Ở Lệ Xá có rất nhiều dòng tộc khác nhau với các xuất xứ khác nhau. Tiêu biểu như:

• Thôn Giai Lệ có các dòng họ như: Nguyễn Văn, Nguyễn Bá, Vũ là ba dòng họ lớn của thôn. Ngoài ra còn có các dòng họ như: Doãn, Ngô, Trần, Bùi, Đỗ....
• Thôn Phí Xá có các dòng họ chính như: Trần, Nguyễn,...
• Thôn Phù Liễu có các họ chính như: Bùi An, Mai, Phan, Phạm, Bùi.....